package com.shujia.core

import org.apache.spark.{SparkConf, SparkContext}

object Demo2Filter {
  def main(args: Array[String]): Unit = {

    /**
      * filter算子  过滤数据
      * 如果返回true 保留数据
      * 如果返回false  过滤数据
      */


    val conf = new SparkConf()
      .setMaster("local") //本地运行
      .setAppName("filter")

    val sc = new SparkContext(conf)

    //读取文件创建rdd
    val studentRDD = sc.textFile("data/student.txt")


    //取出性别为男的学生

    val filterRDD = studentRDD.filter(line => {
      val split = line.split(",")
      val gender = split(3)

      gender.equals("男")
    })


    filterRDD.foreach(println)


  }

}
